Parameter-Efficient Fine-Tuning
LoRA
LLMのPre-Training
LLM-jp
Large Language Model
Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment
https://arxiv.org/abs/2312.12148
領域別LoRA適用、自前スクリプトでは意外に簡単に実装できた。
https://twitter.com/kohya_tech/status/1631505505813422080?s=20
https://twitter.com/kohya_tech/status/1634540833776242688?s=20
Latent Couple + Composable LoRAとほぼ同じことができるAttention Couple + LoRAの実装が現実的に。
Composable LoRAではあるんだけど何か名前を考えたほうが良さそう。
あなたの性癖のためのLoRaリンク集(?)
https://note.com/nkmonaka/n/n32973263de50
AdaLoRa
https://github.com/huggingface/peft
LoRA の上位互換っぽい手法　各差分行列に割り当てるランクを特異値ベースで Adaptive に決めていくので「AdaLoRA」
日本語の大規模な基盤モデルに対するLoRAチューニング
言語処理学会2023